#foundation models

3 篇

MARGIN: Runtime Confidence Calibration for Multi-Agent Foundation Model Coordination

MARGIN：多Agent基础模型协调的运行时置信度校准

🧭 多Agent置信度在线校准

Ericsson

提出 MARGIN，通过运行时增量归一化按置信度分段学习模型特定校准，无需重训或留出校准集，提升多Agent决策准确率

📌 工作参考价值（4 点）

多模型投票/加权融合场景（如多个LLM生成推荐理由、多路召回结果合并）可用 MARGIN 的思路：按置信度分桶跟踪近期准确率与声称置信度的比值，用比值修正该桶的置信度，稀疏桶向模型级估计收缩，避免单个桶样本过少导致校准不稳定。
适用于需要在线适应 workload 变化的系统：无需重训模型或留出固定校准集，只需在每次获得正确性反馈后更新对应置信度桶的统计量，适合电商/广告中持续流入标注数据的场景。
工程实现上，可维护滑动窗口或指数衰减的准确率/置信度比率，对每个 responder 分别维护，用校正后的分数作为加权依据；冷启动时使用模型级估计作为先验，逐步过渡到分桶校准。
注意前提：必须能获得候选答案的正确性反馈（如用户点击、转化作为隐式反馈），否则该方法不可直接用；对于无反馈的推荐排序阶段，可考虑用代理指标替代。

MultiAgent | 2026-10-07 | HF Daily | score 7/10

Visual prompt engineering for video models

视频模型的视觉提示工程

🧭 视觉提示工程提升视频模型推理

Google DeepMind

自动修改任务图像（视觉提示）可显著提升视频模型推理性能，超过文本提示和测试时扩展

📌 工作参考价值（4 点）

商品图像预处理增强理解：借鉴 VIPE，对电商商品主图进行自动风格化（如光影优化、背景真实化），可提升多模态模型在属性抽取、类目识别上的准确率，无需重训模型。
测试时输入优化：在不改变模型权重的前提下，仅通过调用图像编辑API在推理前重绘输入，即可低成本提升下游效果，适合广告创意优选、直播封面自适应等场景。
视觉 Agent 的输入增强：在多模态 Agent 中，对采集到的画面做轻量预处理（去模糊、风格迁移）可提高后续推理决策的可靠性，作为 Agent 感知流水线的一个即插即用组件。
计算高效性：相比文本提示工程或多次采样，VIPE 仅增加一次图像编辑开销，是计算资源友好的提效手段，适合线上实时服务。

Multimodal | 2026-07-27 | HF Daily | score 6/10

visual prompt engineering video reasoning foundation models multimodal test-time adaptation

Validity Threats for Foundation Model Research

基础模型研究中的效度威胁：一个因果推断评估框架

🧭 基础模型研究效度评估框架 ★ 深度解读

University of Tübingen · University of Vienna

为节省算力而采用的代理实验、观察性研究、单次运行等策略，会引入统计、内部、外部和构念效度威胁，不可免费换取。

📌 工作参考价值（4 点）

代理实验（Proxy Experiments）的外推风险：在推荐/Agent 研发中，若用小规模模型或代理任务（如点击率预测代在离线收益）来筛选方案，必须验证结论能否跨规模泛化，否则可能错失真正有效的大模型配置。可借鉴论文中对外部效度和构念效度的警示，设计从小到大的校准实验。
观察性研究（Observational Studies）中的混淆因子：分析公开模型榜单、开源 Recipe 时，时间、数据泄露、架构更新等混淆变量会导致虚假关联。我们在分析离线实验与在线指标关系时，应像论文建议的那样尝试用因果推断方法（如调整混淆、使用工具变量）替代简单的相关性分析。
单次训练内实验（Single-Run Designs）的干扰问题：当在单次训练中比较不同数据点影响（如数据价值、记忆化分析）时，共享模型参数会造成单元间干扰，破坏内部效度。Agent 中做数据 attribution 或行为归因时，需意识到标准 DiD/RDD 等方法的“无干扰”假设在 LLM 中极易违反，可探索独立 canary 注入等理论控制方法。
评估框架的迁移使用：论文提出的统计、内部、外部、构念四维效度检查清单可直接用于评审推荐系统的实验设计，例如评估新召回模型时自问：样本量是否足够（统计）？是否控制了混因（内部）？在电商大促数据上训练的结果能推广到日常吗（外部）？离线 AUC 提升真代表用户体验改善吗（构念）？

Eval | 2026-06-03 | cs.LG | score 8/10

validity threats causal inference proxy experiments observational studies research methodology foundation models